Predicting the health risks of patients using Electronic Health Records (EHR) has attracted considerable attention in recent years, especially with the development of deep learning techniques. Health risk refers to the probability of the occurrence of a specific health outcome for a specific patient. The predicted risks can be used to support decision-making by healthcare professionals. EHRs are structured patient journey data. Each patient journey contains a chronological set of clinical events, and within each clinical event, there is a set of clinical/medical activities. Due to variations of patient conditions and treatment needs, EHR patient journey data has an inherently high degree of missingness that contains important information affecting relationships among variables, including time. Existing deep learning-based models generate imputed values for missing values when learning the relationships. However, imputed data in EHR patient journey data may distort the clinical meaning of the original EHR patient journey data, resulting in classification bias. This paper proposes a novel end-to-end approach to modeling EHR patient journey data with Integrated Convolutional and Recurrent Neural Networks. Our model can capture both long- and short-term temporal patterns within each patient journey and effectively handle the high degree of missingness in EHR data without any imputation data generation. Extensive experimental results using the proposed model on two real-world datasets demonstrate robust performance as well as superior prediction accuracy compared to existing state-of-the-art imputation-based prediction methods.
translated by 谷歌翻译
由于患者状况和治疗需求的变化,电子健康记录(EHR)表现出大量缺失数据。缺失价值的插补被认为是应对这一挑战的有效方法。现有的工作将插补方法和预测模型分为基于EHR的机器学习系统的两个独立部分。我们通过利用复合密度网络(CDNET)提出了一种集成的端对端方法,该方法允许插入方法和预测模型在单个框架中调整在一起。 CDNET由一个封闭式复发单元(GRU),混合物密度网络(MDN)和正则注意网络(RAN)组成。 GRU用作对EHR数据进行建模的潜在变量模型。 MDN旨在采样GRU生成的潜在变量。该运行是适用于较不可靠的估算值的正规器。 CDNET的结构使GRU和MDN迭代地利用彼此的输出来估算缺失值,从而导致更准确,更健壮的预测。我们验证cdnet关于模拟III数据集的死亡率预测任务。我们的模型以大幅度的利润率优于最先进的模型。我们还从经验上表明,正规化值是出色预测性能的关键因素。对预测不确定性的分析表明,我们的模型可以同时捕获核心和认知不确定性,从而使模型用户更好地了解模型结果。
translated by 谷歌翻译
随着面部识别系统的广泛应用,人们担心原始的面部图像可能会暴露于恶意意图并因此导致个人隐私漏洞。本文介绍了Duetface,这是一种新型的隐私面部识别方法,该方法采用了频域中的协作推断。从违反直觉的发现开始,即面部识别只能通过视觉上无法区分的高频通道就可以实现出人意料的良好性能,此方法通过其可视化的关键性设计了可信的频道划分,并在非重要通道上操作服务器端模型。但是,由于缺少的视觉信息,该模型在注意力特征上的注意力降低了。为了补偿,该方法引入了插件交互式块,以通过产生功能掩码来从客户端转移注意力。通过得出和覆盖感兴趣的面部区域(ROI),进一步完善了面具。在多个数据集上进行的广泛实验验证了所提出的方法在保护面部图像免受不希望的视觉检查,重建和识别的同时保持高任务可用性和性能的有效性。结果表明,所提出的方法实现了对未受保护的弧形的可比识别精度和计算成本,并优于最先进的隐私保护方法。源代码可在https://github.com/tencent/tcace/tree/master/recognition/tasks/duetface上获得。
translated by 谷歌翻译
基于电子健康记录(EHR)的健康预测建筑模型已成为一个活跃的研究领域。 EHR患者旅程数据由患者定期的临床事件/患者访问组成。大多数现有研究的重点是建模访问之间的长期依赖性,而无需明确考虑连续访问之间的短期相关性,在这种情况下,将不规则的时间间隔(并入为辅助信息)被送入健康预测模型中以捕获患者期间的潜在渐进模式。 。我们提出了一个具有四个模块的新型深神经网络,以考虑各种变量对健康预测的贡献:i)堆叠的注意力模块在每个患者旅程中加强了临床事件中的深层语义,并产生访问嵌入,ii)短 - 术语时间关注模块模型在连续访问嵌入之间的短期相关性,同时捕获这些访问嵌入中时间间隔的影响,iii)长期时间关注模块模型的长期依赖模型,同时捕获时间间隔内的时间间隔的影响这些访问嵌入,iv),最后,耦合的注意模块适应了短期时间关注和长期时间注意模块的输出,以做出健康预测。对模拟III的实验结果表明,与现有的最新方法相比,我们的模型的预测准确性以及该方法的可解释性和鲁棒性。此外,我们发现建模短期相关性有助于局部先验的产生,从而改善了患者旅行的预测性建模。
translated by 谷歌翻译
在视觉上丰富的文件(VRD)上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性,结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾:实体标记和实体链接,这需要整体地了解令牌和段级别的文档的上下文。但是,很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架,它对于处理两个子任务是灵活的,有效的。具体地,基于变压器,我们引入了一个段令牌对齐的编码器,以处理不同粒度水平的实体标记和实体链接任务。此外,我们设计了一种具有三个自我监督任务的新型预训练策略,以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务,以跨文本,图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法,并表明它优于最先进的同行,在Funsd,Srie和Ephoie数据集中具有显着优越的性能。
translated by 谷歌翻译
很少有动作识别旨在仅使用几个样本(支持)识别新颖的动作类(查询)。当前的大多数方法遵循公制学习范式,该范式学会比较视频之间的相似性。最近,已经观察到,直接测量这种相似性并不理想,因为不同的动作实例可能显示出独特的时间分布,从而导致查询和支持视频中严重的未对准问题。在本文中,我们从两个不同的方面释放了这个问题 - 行动持续时间的错位和动作演化错位。我们通过两阶段的动作对准网络(TA2N)顺序解决它们。第一阶段通过学习暂时的仿射变换来定位动作,该变换扭曲了每个视频功能的动作持续时间,同时否定了动作 - 欧元的功能(例如背景)。接下来,第二阶段协调查询功能通过执行时间重排和空间抵消预测来匹配支撑的时空动作演变。基准数据集上的广泛实验显示了该方法在实现最新性能方面的潜力,以获得几次动作识别。
translated by 谷歌翻译
Self-training (ST) has prospered again in language understanding by augmenting the fine-tuning of pre-trained language models when labeled data is insufficient. However, it remains challenging to incorporate ST into attribute-controllable language generation. Augmented by only self-generated pseudo text, generation models over-emphasize exploitation of the previously learned space, suffering from a constrained generalization boundary. We revisit ST and propose a novel method, DuNST to alleviate this problem. DuNST jointly models text generation and classification with a shared Variational AutoEncoder and corrupts the generated pseudo text by two kinds of flexible noise to disturb the space. In this way, our model could construct and utilize both pseudo text from given labels and pseudo labels from available unlabeled text, which are gradually refined during the ST process. We theoretically demonstrate that DuNST can be regarded as enhancing exploration towards the potential real text space, providing a guarantee of improved performance. Experiments on three controllable generation tasks show that DuNST could significantly boost control accuracy while maintaining comparable generation fluency and diversity against several strong baselines.
translated by 谷歌翻译
从深度学习的迅速发展中受益,许多基于CNN的图像超分辨率方法已经出现并取得了更好的结果。但是,大多数算法很难同时适应空间区域和通道特征,更不用说它们之间的信息交换了。此外,注意力模块之间的信息交换对于研究人员而言甚至不太明显。为了解决这些问题,我们提出了一个轻量级的空间通道自适应协调,对多级改进增强网络(MREN)。具体而言,我们构建了一个空间通道自适应协调块,该块使网络能够在不同的接受场下学习空间区域和渠道特征感兴趣的信息。此外,在空间部分和通道部分之间的相应特征处理级别的信息在跳跃连接的帮助下交换,以实现两者之间的协调。我们通过简单的线性组合操作在注意模块之间建立了通信桥梁,以便更准确,连续地指导网络注意感兴趣的信息。在几个标准测试集上进行的广泛实验表明,我们的MREN在具有很少数量的参数和非常低的计算复杂性的其他高级算法上实现了优越的性能。
translated by 谷歌翻译
带有嘈杂标签的训练深神经网络(DNN)实际上是具有挑战性的,因为不准确的标签严重降低了DNN的概括能力。以前的努力倾向于通过识别带有粗糙的小损失标准来减轻嘈杂标签的干扰的嘈杂数据来处理统一的denoising流中的零件或完整数据,而忽略了嘈杂样本的困难是不同的,因此是刚性和统一的。数据选择管道无法很好地解决此问题。在本文中,我们首先提出了一种称为CREMA的粗到精细的稳健学习方法,以分裂和串扰的方式处理嘈杂的数据。在粗糙水平中,干净和嘈杂的集合首先从统计意义上就可信度分开。由于实际上不可能正确对所有嘈杂样本进行分类,因此我们通过对每个样本的可信度进行建模来进一步处理它们。具体而言,对于清洁集,我们故意设计了一种基于内存的调制方案,以动态调整每个样本在训练过程中的历史可信度顺序方面的贡献,从而减轻了错误地分组为清洁集中的嘈杂样本的效果。同时,对于分类为嘈杂集的样品,提出了选择性标签更新策略,以纠正嘈杂的标签,同时减轻校正错误的问题。广泛的实验是基于不同方式的基准,包括图像分类(CIFAR,Clothing1M等)和文本识别(IMDB),具有合成或自然语义噪声,表明CREMA的优势和普遍性。
translated by 谷歌翻译
收集和注释面向任务的对话框数据很困难,尤其是对于需要专家知识的高度特定领域。同时,非正式的沟通渠道(例如即时使者)在工作中越来越多地使用。这导致了许多与工作相关的信息,这些信息通过这些渠道传播,需要由员工进行后处理。为了减轻这个问题,我们提出了TexPrax,这是一种消息传递系统,以收集和注释与工作有关的聊天中发生的问题,原因和解决方案。 TexPrax使用聊天机器人直接吸引员工,以提供对话的轻量级注释并简化文档工作。为了遵守数据隐私和安全法规,我们使用端到端消息加密,并使用户完全控制其数据,该数据比常规注释工具具有各种优势。我们与德国工厂员工一起在用户研究中评估TexPrax,他们要求同事提供有关日常工作中出现的问题的解决方案。总体而言,我们收集201个面向任务的德语对话,其中包含1,027个句子,并带有句子级专家注释。我们的数据分析还表明,现实世界对话经常包含具有代码转换,对同一实体的缩写的实例,以及NLP系统应该能够处理的方言。
translated by 谷歌翻译